home *** CD-ROM | disk | FTP | other *** search
/ Internet Info 1994 March / Internet Info CD-ROM (Walnut Creek) (March 1994).iso / answers / comp / os-research / part2 < prev    next >
Internet Message Format  |  1994-04-04  |  32KB

  1. Path: bloom-beacon.mit.edu!hookup!swrinde!ihnp4.ucsd.edu!agate!darkstar.UCSC.EDU!osr
  2. From: bosullvn@tcd.ie (Bryan O'Sullivan)
  3. Newsgroups: comp.os.research,comp.answers,news.answers
  4. Subject: Comp.os.research: Frequently answered questions [2/2]
  5. Followup-To: poster
  6. Date: 4 Apr 1994 23:00:16 GMT
  7. Organization: University of Dublin, Trinity College
  8. Lines: 792
  9. Approved: comp-os-research@cse.ucsc.edu, news-answers-request@mit.edu
  10. Message-ID: <2nq660$j4e@darkstar.UCSC.EDU>
  11. Reply-To: os-faq@cse.ucsc.edu
  12. NNTP-Posting-Host: ftp.cse.ucsc.edu
  13. Summary: frequent topics of discussion on the operating systems research group
  14. Originator: osr@ftp
  15. Xref: bloom-beacon.mit.edu comp.os.research:1618 comp.answers:4773 news.answers:17669
  16.  
  17. Archive-name: os-research/part2
  18. Version: $Revision: 1.11 $
  19. Last-Modified: $Date: 1994/03/28 23:15:36 $
  20.  
  21.         Answers to frequently asked questions
  22.           for comp.os.research: part 2 of 2
  23.  
  24.                Bryan O'Sullivan
  25.  
  26.  
  27.  
  28.               TABLE OF CONTENTS
  29.  
  30.  
  31. 1.     Available software
  32. 1.1.   Where can I find Unix process checkpointing and restoration packages?
  33. 1.2.   What threads packages are available for me to use?
  34. 1.3.   Where can I find operating systems distributions?
  35. 1.3.1. Distributed systems and microkernels
  36. 1.3.2. Unix lookalikes
  37. 1.3.3. Others
  38.  
  39. 2.     Performance and workload studies
  40. 2.1.   TCP internetwork traffic characteristics
  41. 2.2.   File system traces
  42. 2.3.   Modern Unix file and block sizes
  43. 2.3.1. File sizes
  44. 2.3.2. Block sizes
  45. 2.3.3. Inode ratios
  46.  
  47. 3.     Papers, reports, and bibliographies
  48. 3.1.   From where are papers for distributed systems available?
  49. 3.2.   Where can I find other papers?
  50. 3.3.   Where can I find bibliographies?
  51.  
  52. 4.     General Internet-accessible resources
  53. 4.1.   Wide Area Information Service (WAIS) and World-Wide Web (WWW) servers
  54. 4.2.   Refdbms---a distributed bibliographic database system
  55. 4.3.   The comp.os.research archive
  56.  
  57.  
  58. ------------------------------
  59. Subject: [1] Available software
  60. From: Available software
  61.  
  62. This section covers various software packages, operating systems
  63. distributions, and miscellaneous other such items which may be of
  64. interest to the operating systems research community.  If you have
  65. written, or know of, some software which you believe would be of
  66. fairly wide interest, please get in touch with the FAQ maintainer with
  67. a view to having a short spiel and availability information included
  68. here.
  69.  
  70. ------------------------------
  71. Subject: [1.1] Where can I find Unix process checkpointing and restoration packages?
  72. From: Available software
  73.  
  74. - [93-01-21-10-18.30] The Condor system is available via anonymous ftp
  75.   from ftp.cs.wisc.edu.  Condor works entirely at user level [no
  76.   kernel modifications required] but doesn't currently support
  77.   interprocess communication, signals, or fork().  Definitely worth a
  78.   look.
  79.  
  80. - Bennet S Yee implemented a `mostly portable' checkpoint and restore
  81.   package back around 1987.  When the programmer invokes the
  82.   checkpoint procedure, it saves the state to a file; when a second
  83.   process with the same program (but with different arguments) is
  84.   started which calls the restore procedure, it reads the old state
  85.   from the file.  Available via anonymous ftp from
  86.   play.trust.cs.cmu.edu:usr/bsy/pub/save_world.shar.Z.  This package
  87.   is known to work for Pmaxen, Sun4's, Sun3's, IBM RTs, and VAXen.
  88.   Porting it to a new architecture should be relatively simple -- look
  89.   at the README file.
  90.  
  91. ------------------------------
  92. Subject: [1.2] What threads packages are available for me to use?
  93. From: Available software
  94.  
  95. - [93-02-01-10-15.15] For DEC customers, versions of VMS after 5.5 and
  96.   Ultrix after 4.3 include bundled threads packages which implement
  97.   both DEC's proprietary CMA and draft 4 of IEEE Pthreads.
  98.  
  99. - SunOS 4.x provides, as standard, a lightweight process (lwp) library
  100.   which isn't compatible with anything else currently available;
  101.   Solaris 2.x comes with a threads library which is incompatible with
  102.   lwp as well as everything else.
  103.  
  104. - The POSIX / Ada-Runtime Project (PART) has made available an
  105.   implementation of draft 6 of the POSIX 1003.4a Pthreads
  106.   specification, which runs under SunOS 4.x; the current release is
  107.   version 1.20.  Available using anonymous ftp from
  108.   ftp.cs.fsu.edu:pub/PART.
  109.  
  110. - Stephen Crane has written a `fairly portable' threads package,
  111.   which runs under Sun 3, Sun 4, MIPS/RISCos, Linux, and 386BSD.  It
  112.   is available via anonymous ftp from dse.doc.ic.ac.uk:rex/lwp.tar.gz,
  113.   with documentation in the same directory named lwp.ps.gz.
  114.  
  115. - QuickThreads is a toolkit for building threads packages, written by
  116.   David Keppel.  It is available via anonymous ftp from
  117.   ftp.cs.washington.edu:pub/qt-001.tar.Z, with an accompanying tech
  118.   report at ftp.cs.washington.edu:tr/1993/05/UW-CSE-93-05-06.PS.Z.
  119.   The code as distributed includes ports for the Alpha, x86, 88000,
  120.   MIPS, SPARC, VAX, and KSR1.
  121.   
  122. [DCE threads? cthreads? pthreads implementations? others?]
  123.  
  124. ------------------------------
  125. Subject: [1.3] Where can I find operating systems distributions?
  126. From: Available software
  127.  
  128. This section covers the availability of several well-known systems;
  129. the only criterion for inclusion of a system here is that it be of
  130. interest to some segment of the OS research community (commercial
  131. systems will be accepted for inclusion, so long as they are pertinent
  132. to research).
  133.  
  134. ------------------------------
  135. Subject: [1.3.1] Distributed systems and microkernels
  136. From: Available software
  137.  
  138. - [93-03-31-22-49.53] As of July 1990 ACE is the distribution, support
  139.   and sales channel for Amoeba.  Due to overwhelming response from
  140.   non-profit organisations wishing to obtain Amoeba for their research
  141.   activities, VU is offering Amoeba 5.1 to research institutions for
  142.   more or less free (via ftp at no charge, or on tape for $500 on
  143.   Exabyte or $800 on QIC-24).  Amoeba currently supports 68020 and
  144.   68030-based VME board machines, as well at i386- and i486-based AT
  145.   PCs and Sun 3 machines.  A port to the SPARC was underway as of late
  146.   1992, and may be complete by now.
  147.  
  148.   For further information on `commercial' Amoeba, you can contact ACE
  149.   by email at <amoeba@ace.nl>, or by fax at +31 20 675 0389.
  150.   Universities interested in obtaining a license should send mail to
  151.   <amoeba-license@cs.vu.nl>, or fax to +31 20 642 7705.
  152.  
  153. - Chorus Systemes has special programmes for universities interested
  154.   in using Chorus.  For more information on the offerings available,
  155.   conditions, and other details, ftp to ftp.chorus.fr and get the
  156.   following ASCII files:
  157.     pub/README
  158.     pub/academic/README
  159.     pub/academic/offerings
  160.  
  161. - The Cronus object-oriented distributed system may be obtained via
  162.   ftp from pineapple.bbn.com; email <cronus-help@bbn.com> for details
  163.   of the account name and password.  Before attempting to get the
  164.   Cronus distribution, you must obtain, via anonymous ftp,
  165.   pineapple.bbn.com:Cronus-via-FTP-Terms.
  166.  
  167. - Horus is available for research use; contact Ken Birman
  168.   <ken@cs.cornell.edu> or Robbert van Renesse <rvr@cs.cornell.edu> for
  169.   details.
  170.  
  171. - Isis has not been publicly available since 1989, but may (I'm not
  172.   sure) still be obtained using anonymous ftp from ftp.uu.net or
  173.   ftp.cs.cornell.edu.  After 1989, the code was picked up by Isis
  174.   Distributed Systems, which has subsequently developed and supported
  175.   it.  The commercial version of Isis (available at very low cost to
  176.   academic institutions) is available from the company.  Email
  177.   <info@isis.com> for information, or call +1-212-979-7729 or
  178.   +1-607-272-6327.
  179.  
  180. - [92-09-19-08-55.18] Plan 9 is available to academic institutions on
  181.   CD-ROM; the distribution consists of around 350MB of source and
  182.   binaries.  For information on how to go about getting a license,
  183.   contact
  184.  
  185.     Neera Kuckreja
  186.     AT&T Bell Laboratories
  187.     Room 2C-557
  188.     Murray Hill, NJ 07974
  189.     United States
  190.  
  191.   As of September 1992, kernels existed for the Sun SLC, Sun4Cs of
  192.   various types, NeXTstations, MIPS Magnum 3000, SGI 4D series,
  193.   Gateway 486, AT&T Safari, `a whole bunch of' other PCs, and the
  194.   Gnot.
  195.  
  196.   Sydney University Basser Department of Computer Science has a port
  197.   of Plan 9 underway to the DEC Alpha at the moment.  A port to the
  198.   Sun 3 has been completed.  Contact <plan9info@cs.su.oz.au> for
  199.   details.
  200.  
  201. - QNX is available for academic applications through an education
  202.   support programme run by QNX Software Systems, whereby QNX systems
  203.   can be obtained for educational purposes at very low cost.  For
  204.   commercial and education availability and pricing, contact:
  205.  
  206.     QNX Software Systems        QNX Software Systems
  207.     175 Terrence Matthews Cr.    Westendstr. 19
  208.     Kanata, Ontario K2M 1W8        6000 Frankfurt am Main 1
  209.     Canada                Germany
  210.  
  211.     1 800 363 9001            +49 69 9754 6156 x299
  212.     +1 (613) 591 0931
  213.     +1 (613) 591 3579 (fax)        +49 69 9754 6110 (fax)
  214.  
  215.   Versions after 4.2 of QNX run on the i386 and later processors, with
  216.   a 16-bit kernel included for i286 machines, while version 4.1 will
  217.   run on i286 and above.
  218.  
  219. - [93-02-07-16-03.48] The Sprite Network Operating System is available
  220.   on CD-ROM.  The disc contains the source code and documentation for
  221.   Sprite, a research operating system developed at the University of
  222.   California, Berkeley.  All the research papers from the Sprite
  223.   project are also included on the disc.  This software on this disc
  224.   is primarily intended for research purposes, and is not really
  225.   intended to be used as a production system.  Boot images are
  226.   provided for Sun SPARCstations and DECstations.  The CD-ROM is in
  227.   ISO-9660 format with Rock Ridge extensions.  The disc contains about
  228.   550 megabytes of software.
  229.  
  230.   You can get an overview of the Sprite Project, and a complete list
  231.   of what is on this disc by anonymous ftp from
  232.   cdrom.com:pub/cdroms/sprite.
  233.  
  234.   If you would like a CD-ROM please send $25.  Add $4.95 if you would
  235.   like a caddy too.  S&H is $5 (per order, not per disc) for
  236.   US/Can/Mex, and $10 for overseas.  If you live in California, please
  237.   add sales tax.  You can send a check or money order, or you can
  238.   order with Mastercard/Visa/AmEx.
  239.  
  240.     Bob Bruce <rab@cdrom.com>
  241.     Walnut Creek CDROM
  242.     1547 Palos Verdes Mall, Suite 260
  243.     Walnut Creek, CA 94596
  244.     United States
  245.  
  246.        1 800 786-9907 (USA only)
  247.       +1 510 947-5996
  248.       +1 510 947-1644 (fax)
  249.  
  250. - VSTa is a copylefted system written by Andrew Valencia
  251.   <vandys@cisco.com> which uses ideas from several research operating
  252.   systems in its implementation.  It is currently in an `experimental
  253.   but usable' state, and supports `lots of' POSIX, and runs on a
  254.   number of different PC configurations.  For further information,
  255.   send mail to <vsta-request@cisco.com>, or ftp to
  256.   ftp.cygnus.com:pub/embedded/vsta.
  257.  
  258. [Mach, Chorus, Clouds?, Choices?]
  259.  
  260. ------------------------------
  261. Subject: [1.3.2] Unix lookalikes
  262. From: Available software
  263.  
  264. - Linux is available via anonymous ftp from tsx-11.mit.edu:pub/linux
  265.   or sunsite.unc.edu:pub/Linux.  It is a freely-distributable System V
  266.   compatible Unix, and is covered by the GNU General Public License.
  267.   Linux runs on ISA bus PCs with i386 or better CPUs and at least 4
  268.   megabytes to run.
  269.  
  270. - 386BSD is available via ftp from agate.berkeley.edu:pub/386BSD or
  271.   ftp.uu.net:systems/unix/386BSD.  It lies mid-way between 4.3BSD Reno
  272.   and 4.4BSD internally, and contains no AT&T-copyrighted code.
  273.   386BSD runs on ISA bus PCs with i386 or better CPUs.
  274.  
  275. - NetBSD is available via ftp from agate.berkeley.edu:pub/NetBSD.
  276.  
  277. - FreeBSD is available via ftp from freebsd.cdrom.com:pub/FreeBSD,
  278.   ftp.cosy.sbg.ac.at:pub/mirror/FreeBSD, and
  279.   pdq.coe.montana.edu:pub/mirrors/unix/freebsd.
  280.  
  281. - The Hurd is the GNU operating system, being written by Michael
  282.   Bushnell.  It is based on Mach 3.0, and should be available on most
  283.   systems to which Mach has been ported.
  284.  
  285. ------------------------------
  286. Subject: [1.3.3] Others
  287. From: Available software
  288.  
  289. [93-03-18-10-19.02] Microsoft is making sources of Windows NT
  290. available under license to universities and research laboratories.
  291. You should have the appropriate officials contact Mark Lewin
  292. <marklew@microsoft.com> to get started on this process.
  293.  
  294.  
  295.  
  296. ------------------------------
  297. Subject: [2] Performance and workload studies
  298. From: Performance and workload studies
  299.  
  300. This section covers various different publicly-available traces and
  301. studies, libraries and source distributions, which may be of use.
  302.  
  303. ------------------------------
  304. Subject: [2.1] TCP internetwork traffic characteristics
  305. From: Performance and workload studies
  306.  
  307. - [92-10-20-15-04.39] Peter Danzig and Sugih Jamin of USC have made
  308.   available a report and a source library which simulates realistic
  309.   day-to-day network traffic between nodes.  The library, tcplib, `is
  310.   motivated by our observation that present-day wide-area tcp/ip
  311.   traffic cannot be accurately modeled with simple analytical
  312.   expressions, but instead requires a combination of detailed
  313.   knowledge of the end-user applications responsible for the traffic
  314.   and certain measured probability distributions'.
  315.  
  316.   The technical report and the source library it describes are
  317.   available via anonymous ftp from
  318.   jerico.usc.edu:pub/jamin/tcplib.  All you need to transfer to
  319.   use the library are: README, brkdn_dist.h, tcpapps.h, tcplib.1, and
  320.   one of libtcp* that matches your setup.  You need tcplib.tar.Z only
  321.   if you must generate the library yourself.  The file tcplibtr.ps.Z
  322.   is the PostScript version of the report.  The authors may be
  323.   contacted at <traffic@excalibur.usc.edu>.
  324.  
  325. - [93-08-09-15-15.54] Vern Paxson of Lawrence Berkeley Laboratories
  326.   has a report available via anonymous ftp which describes analytic
  327.   models for wide-area TCP connections based upon a set of wide-area
  328.   traffic traces.  The report may be obtained from
  329.   ftp.ee.lbl.gov:WAN-TCP-models.{1,2}.ps.Z.
  330.  
  331. - [93-05-13-10-54.09] Vern Paxson also has made available another
  332.   report, ftp.ee.lbl.gov:WAN-TCP-growth-trends.ps.Z, which provides an
  333.   analysis of the growth trends of a medium-sized research
  334.   laboratory's wide-area TCP connections over a period of more than
  335.   two years.
  336.  
  337. ------------------------------
  338. Subject: [2.2] File system traces
  339. From: Performance and workload studies
  340.  
  341. - Chris Ruemmler has done a study on low-level disk access patterns
  342.   for a workstation, a server, and a time-shared system which appeared
  343.   in the Winter 1993 USENIX proceedings.  A copy may be obtained via
  344.   anonymous ftp from ftp.hpl.hp.com:wilkes/HPL-92-152.ps.Z.
  345.  
  346. - Stephen Russell <smr@cs.unsw.oz.au> has instrumented the SunOS 4.1.x
  347.   kernel running on Sun 3 machines.  The system allows time-stamped
  348.   event records to be obtained from various points in the kernel.
  349.   Events can be categorised (eg, paging, file system, etc), and are
  350.   read via pseudo-devices.  Ioctl calls allow substreams to be
  351.   enabled/disabled, buffer status checked, etc.  An external high
  352.   resolution timer is used for timestamping.
  353.  
  354. - [93-05-09-09-23.32] The traces used in `Measurements of a
  355.   distributed file system' (SOSP 1991) may be obtained via anonymous
  356.   ftp from sprite.berkeley.edu:pub/sosp-traces.  An accompanying
  357.   PostScript file, written by John H. Hartman
  358.   <jhh@sprite.berkeley.edu>, which describes the trace file format,
  359.   how to interpret the trace records, and other information may be
  360.   found in the above directory as sospTraces.ps.Z.
  361.  
  362. - [93-06-18-13-02.48] Hidehiro Ishii <ishii@tsl.cl.nec.co.jp> has
  363.   written a system which traces the NFS accesses seen by an NFS server
  364.   and calculates statistics based on such traces.  Contact the author
  365.   for details.
  366.  
  367. ------------------------------
  368. Subject: [2.3] Modern Unix file and block sizes
  369. From: Performance and workload studies
  370.  
  371. The following sections are lifted more or less verbatim from a number
  372. of traces which were co-ordinated and analysed by Gordon Irlam
  373. <gordoni@netcom.com>.  The numbers quoted below are based on Unix file
  374. size data for 12 million files, residing on 1000 file systems, with a
  375. total size of 250 gigabytes.
  376.  
  377. ------------------------------
  378. Subject: [2.3.1] File sizes
  379. From: Performance and workload studies
  380.  
  381. There is no such thing as an average file system.  Some file systems
  382. have lots of little files.  Others have a few big files.  However as a
  383. mental model the notion of an average file system is invaluable.
  384.  
  385. The following table gives a break down of file sizes and the amount of
  386. space they consume.
  387.  
  388.    file size       #files  %files  %files   disk space  %space  %space
  389. (max. bytes)                        cumm.         (Mb)           cumm.
  390.            0       147479     1.2     1.2          0.0     0.0     0.0
  391.            1         3288     0.0     1.2          0.0     0.0     0.0
  392.            2         5740     0.0     1.3          0.0     0.0     0.0
  393.            4        10234     0.1     1.4          0.0     0.0     0.0
  394.            8        21217     0.2     1.5          0.1     0.0     0.0
  395.           16        67144     0.6     2.1          0.9     0.0     0.0
  396.           32       231970     1.9     4.0          5.8     0.0     0.0
  397.           64       282079     2.3     6.3         14.3     0.0     0.0
  398.          128       278731     2.3     8.6         26.1     0.0     0.0
  399.          256       512897     4.2    12.9         95.1     0.0     0.1
  400.          512      1284617    10.6    23.5        566.7     0.2     0.3
  401.         1024      1808526    14.9    38.4       1442.8     0.6     0.8
  402.         2048      2397908    19.8    58.1       3554.1     1.4     2.2
  403.         4096      1717869    14.2    72.3       4966.8     1.9     4.1
  404.         8192      1144688     9.4    81.7       6646.6     2.6     6.7
  405.        16384       865126     7.1    88.9      10114.5     3.9    10.6
  406.        32768       574651     4.7    93.6      13420.4     5.2    15.8
  407.        65536       348280     2.9    96.5      16162.6     6.2    22.0
  408.       131072       194864     1.6    98.1      18079.7     7.0    29.0
  409.       262144       112967     0.9    99.0      21055.8     8.1    37.1
  410.       524288        58644     0.5    99.5      21523.9     8.3    45.4
  411.      1048576        32286     0.3    99.8      23652.5     9.1    54.5
  412.      2097152        16140     0.1    99.9      23230.4     9.0    63.5
  413.      4194304         7221     0.1   100.0      20850.3     8.0    71.5
  414.      8388608         2475     0.0   100.0      14042.0     5.4    77.0
  415.     16777216          991     0.0   100.0      11378.8     4.4    81.3
  416.     33554432          479     0.0   100.0      11456.1     4.4    85.8
  417.     67108864          258     0.0   100.0      12555.9     4.8    90.6
  418.    134217728           61     0.0   100.0       5633.3     2.2    92.8
  419.    268435456           29     0.0   100.0       5649.2     2.2    95.0
  420.    536870912           12     0.0   100.0       4419.1     1.7    96.7
  421.   1073741824            7     0.0   100.0       5004.5     1.9    98.6
  422.   2147483647            3     0.0   100.0       3620.8     1.4   100.0
  423.  
  424. A number of observations can be made:
  425.   - the distribution is heavily skewed towards small files
  426.   - but it has a very long tail
  427.   - the average file size is 22k
  428.   - pick a file at random: it is probably smaller than 2k
  429.   - pick a byte at random: it is probably in a file larger than 512k
  430.   - 89% of files take up 11% of the disk space
  431.   - 11% of files take up 89% of the disk space
  432.  
  433. Such a heavily skewed distribution of file sizes suggests that, if one
  434. were to design a file system from scratch, it might make sense to
  435. employ radically different strategies for small and large files.
  436.  
  437. The seductive power of mathematics allows us treat a 200 byte and a
  438. 2MB file in the same way.  But do we really want to?  Are there any
  439. problems in engineering where the same techniques would be used in
  440. handling physical objects that span 6 orders of magnitude?
  441.  
  442. A quote from sci.physics that has stuck with me: `When things change
  443. by 2 orders of magnitude, you are actually dealing with fundamentally
  444. different problems'.
  445.  
  446. People I trust say they would have expected the tail of the above
  447. distribution to have been even longer.  There are at least some files
  448. in the 1-2G range.  They point out that DBMS shops with really large
  449. files might have been less inclined to respond to a survey like this
  450. than some other sites.  This would bias the disk space figures, but it
  451. would have no appreciable effect on file counts.  The results gathered
  452. would still be valuable because many static disk layout issues are
  453. determined by the distribution of small files and are largely
  454. independent of the potential existence of massive files.
  455.  
  456. (It should be noted that many popular DBMSs, such as Oracle, Sybase,
  457.  and Informix, use raw disk partitions instead of Unix file systems
  458.  for storing data, hence the difficulty in gathering data about them
  459.  in a uniform way.)
  460.  
  461. ------------------------------
  462. Subject: [2.3.2] Block sizes
  463. From: Performance and workload studies
  464.  
  465. The last block of a file is normally only partially occupied, and so
  466. as block sizes are increased so too will the the amount of wasted disk
  467. space.
  468.  
  469. The following historical values for the design of the BSD FFS are
  470. given in `Design and implementation of the 4.3BSD Unix operating
  471. system':
  472.  
  473. fragment size   overhead
  474.    (bytes)        (%)
  475.       512         4.2
  476.      1024         9.1
  477.      2048        19.7
  478.      4096        42.9
  479.  
  480. Files have clearly gotten larger since then; I obtained the following
  481. results:
  482. fragment size   overhead
  483.    (bytes)        (%)
  484.       128         0.3
  485.       256         0.6
  486.       512         1.1
  487.      1024         2.5
  488.      2048         5.4
  489.      4096        12.3
  490.      8192        27.8
  491.     16384        61.2
  492.  
  493. By default the BSD FFS typically uses a 1k fragment size.  Perhaps
  494. this size is no longer optimal and should be increased.
  495.  
  496. (The FFS block size is constrained to be no more than 8 times the
  497.  fragment size.  Clustering is a good way to improve throughput for
  498.  FFS based file systems, but it doesn't do very much to reduce the not
  499.  insignificant FFS computational overhead.)
  500.  
  501. It is interesting to note that even though most files are less than 2K
  502. in size, having a 2K block size wastes very little space, because disk
  503. space consumption is so totally dominated by large files.
  504.  
  505. ------------------------------
  506. Subject: [2.3.3] Inode ratios
  507. From: Performance and workload studies
  508.  
  509. The BSD FFS statically allocates inodes.  By default one inode is
  510. allocated for every 2K of disk space.  Since an inode consumes 128
  511. bytes this means that by default 6.25% of disk space is consumed by
  512. inodes.
  513.  
  514. It is important not to run out of inodes since any remaining disk
  515. space is then effectively wasted.  Despite this allocating 1 inode for
  516. every 2K is excessive.
  517.  
  518. For each file system studied I worked out the minimum sized disk it
  519. could be placed on.  Most disks needed to be only marginally larger
  520. than the size of their files, but a few disks, having much smaller
  521. files than average, needed a much larger disk---a small disk had
  522. insufficient inodes.
  523.  
  524. bytes per   overhead
  525.   inode       (%)
  526.    1024      12.5
  527.    2048       6.3
  528.    3072       4.5
  529.    4096       4.2
  530.    5120       4.4
  531.    6144       4.9
  532.    7168       5.5
  533.    8192       6.3
  534.    9216       7.2
  535.   10240       8.3
  536.   11264       9.5
  537.   12288      10.9
  538.   13312      12.7
  539.   14336      14.6
  540.   15360      16.7
  541.   16384      19.1
  542.   17408      21.7
  543.   18432      24.4
  544.   19456      27.4
  545.   20480      30.5
  546.  
  547. Clearly, the current default of one inode for every 2K of data is too
  548. small.  Earlier results suggested that allocating one inode for every
  549. 5-6k was in some sense optimal, and allocating one inode for every 8k
  550. would only be 0.4% worse.  The new data suggests one inode for every
  551. 4k is optimal, and allocating one inode for every 8k would be 2.1%
  552. worse.
  553.  
  554. The analysis technique I used is very sensitive to even a few file
  555. systems with very small files.
  556.  
  557. The main source of file systems with lots of small files would appear
  558. to be netnews servers.  The typical Usenet message would appear to be
  559. 1-2k in length.  Ignoring such file systems would drastically alter
  560. the conclusions I reach.  If, as I believe might already be the case,
  561. news servers are manually tuned to have a lower than normal bytes per
  562. inode ratio, it would then be possible to justify setting the default
  563. ratio much higher.
  564.  
  565. Clearly it is best if the file system dynamically allocate inodes; I
  566. believe AIX does this for instance.  Systems that statically allocate
  567. inodes should probably increase the bytes per inode ratio, but it is
  568. not clear to exactly what value.  The engineer in me says `it is
  569. important to play this one conservatively: stick to 6k', the artist
  570. goes `as Chris Torek says: aesthetics, 8k'.
  571.  
  572.  
  573.  
  574. ------------------------------
  575. Subject: [3] Papers, reports, and bibliographies
  576. From: Papers, reports, and bibliographies
  577.  
  578. Network-available documents are listed in this section.  I'd like to
  579. see information for obtaining other sets of reports which aren't
  580. electronically-available included here as well, at some stage.
  581.  
  582. ------------------------------
  583. Subject: [3.1] From where are papers for distributed systems available?
  584. From: Papers, reports, and bibliographies
  585.  
  586. Amoeba
  587.     ftp.cs.vu.nl:amoeba
  588.     ftp.cse.ucsc.edu:pub/amoeba
  589.  
  590. Arjuna
  591.     arjuna.ncl.ac.uk:pub/Arjuna
  592.  
  593. Choices
  594.     choices.cs.uiuc.edu:Papers
  595.  
  596. Chorus
  597.     ftp.chorus.fr:pub/chorus-reports
  598.     cse.ogi.edu:pub/chorus/reports
  599.  
  600. Clouds
  601.     helios.cc.gatech.edu:pub/papers
  602.  
  603. Cronus
  604.     pineapple.bbn.com:doc
  605.  
  606. Guide
  607.     imag.fr:pub/GUIDE/doc
  608.  
  609. Horus
  610.     ftp.cs.cornell.edu:pub/Horus
  611.  
  612. Isis
  613.     ftp.cse.ucsc.edu:pub/bib/isis.bib
  614.     ftp.cs.cornell.edu:pub
  615.  
  616. Mach
  617.     mach.cs.cmu.edu:doc
  618.  
  619. Plan 9
  620.     research.att.com:dist/plan9doc
  621.     research.att.com:dist/plan9man
  622.  
  623. Spring
  624.     http://www.sun.com/smli
  625.  
  626. X kernel
  627.     cs.arizona.edu:pub/xkernel
  628.  
  629. Papers covering Amoeba, Choices, Chorus, Clouds, the Hurd, Guide,
  630. Mach, Mars, NonStop, and Plan 9 are also available via anonymous ftp
  631. from nic.funet.fi:pub/doc/OS.
  632.  
  633. [I'd like to find the authoritative home for V---Mars and NonStop are
  634.  a bit more obscure, I think; they certainly aren't asked after much]
  635.  
  636. ------------------------------
  637. Subject: [3.2] Where can I find other papers?
  638. From: Papers, reports, and bibliographies
  639.  
  640. QNX [93-09-19-22-22.26]
  641.     ftp.cse.ucsc.edu:pub/qnx
  642.  
  643. Solaris 2.x [93-02-23-12-12.43]
  644.     opcom.sun.ca:pub/docs/papers
  645.     opcom.sun.ca:pub/docs/solaris
  646.  
  647. Windows NT [92-09-18-11-46.16]
  648.     ftp.uu.net:vendor/microsoft/win32-api
  649.     ftp.uu.net:vendor/microsoft/isv-communications
  650.  
  651. ------------------------------
  652. Subject: [3.3] Where can I find bibliographies?
  653. From: Papers, reports, and bibliographies
  654.  
  655. Load balancing
  656.     ftp.cse.ucsc.edu:pub/bib/load-balancing.bib
  657.  
  658. Object-oriented operating systems
  659.     ftp.cse.ucsc.edu:pub/bib/ooos.bib.Z
  660.     ftp.inria.fr:INRIA/bib/ooos.bib.gz
  661.  
  662. Parallel and distributed I/O
  663.     ftp.cse.ucsc.edu:pub/bib/io.bib
  664.  
  665. Recommended books
  666.     ftp.maths.tcd.ie:pub/bosullvn/comp.os.research/recommended.bib
  667.  
  668. Sprite network operating system
  669.     sprite.berkeley.edu:pub/sprite
  670.  
  671. See also the section on General Net Resources.
  672.  
  673. [There's quite a lot more at ftp.cse.ucsc.edu, if anyone wants to add
  674.  more to this list.]
  675.  
  676.  
  677.  
  678. ------------------------------
  679. Subject: [4] General Internet-accessible resources
  680. From: General Internet-accessible resources
  681.  
  682. This section contains information about a variety of services
  683. available to the OS research community via the Internet.
  684.  
  685. ------------------------------
  686. Subject: [4.1] Wide Area Information Service (WAIS) and World-Wide Web (WWW) servers
  687. From: General Internet-accessible resources
  688.  
  689. [92-09-21-16-38.23] Loughborough University high-performance
  690. networking and distributed systems archive may be accessed via World
  691. Wide Web at http://genie.lut.ac.uk.  This archive contains, according
  692. to Jon Knight <J.P.Knight@lut.ac.uk>, the organiser:
  693.  
  694. - Technical reports and papers written at LUT by the networks and
  695.   distributed systems researchers in the Department of Computer
  696.   Studies.
  697.  
  698. - Technical reports, papers and theses which have been produced at
  699.   other sites and then made available for public electronic access.
  700.  
  701. - Software which is of use in research or which has been produced by a
  702.   specific research project.
  703.  
  704. - Details of relevant conferences, collected from a variety of sources
  705.   (USENET, email, flyers, etc).
  706.  
  707. - Information on ongoing research projects.
  708.  
  709. - Bibliographies that have been generated for research at LUT and also
  710.   access to other WAIS indexed bibliographies, both at LUT and
  711.   elsewhere.
  712.  
  713. - A list of contacts in the field, with details of their research
  714.   interests.  This is entirely voluntary (i.e. people have agreed to
  715.   Jon entering their details rather than him just rooting round the
  716.   Internet to build up the information).
  717.  
  718. [93-02-18-21-18.31] Postings to comp.os.research since 1988 may be
  719. found via WAIS at UCSC's Computer Science gopher hole:
  720.     (:source 
  721.      :version  3 
  722.      :ip-address "128.114.134.19"
  723.      :ip-name "ftp.cse.ucsc.edu"
  724.      :tcp-port 210
  725.      :database-name "comp-os-research"
  726.      :cost 0.00 
  727.      :cost-unit :free 
  728.      :maintainer "paul@cse.ucsc.edu"
  729.  
  730.      :description "Server created with WAIS release 8 b5
  731.         on Jul 9 03:51:11 1992 by paul@cse.ucsc.edu
  732.         The files of type netnews used in the index
  733.         were: /home/ftp/pub/comp.os.research"
  734.     )
  735.  
  736. Carnegie Mellon University's computer science department has a home
  737. page for the Mach project at the following URL:
  738. http://www.cs.cmu.edu:8001/afs/cs.cmu.edu/project/mach/public/www/mach.html.
  739.  
  740. Bibliographies in the comp.os.research collection are accessible via
  741. WAIS from UCSC:
  742.     (:source 
  743.      :version  3 
  744.      :ip-address "128.114.134.19"
  745.      :ip-name "ftp.cse.ucsc.edu"
  746.      :tcp-port 210
  747.      :database-name "os-bibliographies"
  748.      :cost 0.00 
  749.      :cost-unit :free 
  750.      :maintainer "paul@cse.ucsc.edu"
  751.      :description "Server created with WAIS release 8 b5
  752.         on Jul 9 22:38:27 1992 by paul@cse.ucsc.edu
  753.         The files of type bibtex used in the index
  754.         were: /home/ftp/pub/bib"
  755.     )
  756.  
  757.  
  758. ------------------------------
  759. Subject: [4.2] Refdbms---a distributed bibliographic database system
  760. From: General Internet-accessible resources
  761.  
  762. [92-10-01-11-39.32] The alpha release of refdbms version 3, developed
  763. by John Wilkes of the Concurrent Systems Project at Hewlett-Packard
  764. Laboratories and Richard Golding of the Concurrent Systems Laboratory
  765. at UC Santa Cruz, is now available.  It can be obtained by anonymous
  766. ftp from ftp.cse.ucsc.edu:pub/refdbms.  The system has been tested on
  767. Sun 3 and 4 systems running SunOS 4.1.x, and on DECstations running
  768. Ultrix 4.1.  It is an experiment in building weak-consistency
  769. wide-area distributed applications, and the databases currently
  770. available for the system have a good systems coverage.
  771.  
  772. The system includes tools to query the database, to produce
  773. bibliographies for LaTeX documents, and to enter new references into
  774. the database.  It is part of ongoing research into wide-area
  775. distributed information systems on the Internet.
  776.  
  777. Features include:
  778.  
  779. - Distributed databases: a reference database can be shared among
  780.   multiple sites.  Updates can be entered at any site, and will be
  781.   propagated to the other sites holding a replica of the database.
  782.  
  783. - Multiple databases: every database has a name, and users specify the
  784.   order in which databases will be searched.
  785.  
  786. - Private databases: databases can be private, available site-wide, or
  787.   they can be made available to other sites.
  788.  
  789. - Database query by keyword, author, and title word.
  790.  
  791. - Translator for refer-format databases.
  792.  
  793. - Usable with LaTeX documents: the internal refdbms format can be
  794.   translated into a special BibTeX format.
  795.  
  796. An up-to-date list of bibliographies exported by various institutions
  797. may be obtained using anonymous ftp from
  798. ftp.cse.ucsc.edu:pub/refdbms/current-databases.
  799.  
  800.  
  801. ------------------------------
  802. Subject: [4.3] The comp.os.research archive
  803. From: General Internet-accessible resources
  804.  
  805. An archive of all messages posted to comp.os.research since 1988 is
  806. maintained at UC Santa Cruz.  It may be accessed via anonymous ftp at
  807. ftp.cse.ucsc.edu:pub/comp.os.research.  The archive is organised
  808. by year.
  809.